Xã An Thượng trước đây vốn là hai xã An Châu và Thượng Đạt thuộc huyện Nam Sách.

Ngày 19 tháng 3 năm 2008, xã An Châu và xã Thượng Đạt cùng sáp nhập vào thành phố Hải Dương.

Trước khi sáp nhập, xã An Châu có diện tích 4,02 km², dân số là 4.276 người, mật độ dân số đạt 1.064 người/km². Xã Thượng Đạt có diện tích 2,62 km², dân số là 2.976 người, mật độ dân số đạt 1.136 người/km².

Ngày 16 tháng 10 năm 2019, Ủy ban Thường vụ Quốc hội ban hành Nghị quyết số 788/NQ-UBTVQH14 về việc sắp xếp các đơn vị hành chính cấp huyện, cấp xã thuộc tỉnh Hải Dương (nghị quyết có hiệu lực từ ngày 1 tháng 12 năm 2019)[1]. Theo đó, sáp nhập toàn bộ diện tích và dân số của hai xã An Châu và Thượng Đạt thành xã An Thượng.